Over the past few years, developing a broad, universal, and general-purpose computer vision system has become a hot topic. A powerful universal system would be capable of solving diverse vision tasks simultaneously without being restricted to a specific problem or a specific data domain, which is of great importance in practical real-world computer vision applications. This study pushes the direction forward by concentrating on the million-scale multi-domain universal object detection problem. The problem is not trivial due to its complicated nature in terms of cross-dataset category label duplication, label conflicts, and the hierarchical taxonomy handling. Moreover, what is the resource-efficient way to utilize emerging large pre-trained vision models for million-scale cross-dataset object detection remains an open challenge. This paper tries to address these challenges by introducing our practices in label handling, hierarchy-aware loss design and resource-efficient model training with a pre-trained large model. Our method is ranked second in the object detection track of Robust Vision Challenge 2022 (RVC 2022). We hope our detailed study would serve as an alternative practice paradigm for similar problems in the community. The code is available at https://github.com/linfeng93/Large-UniDet.
translated by 谷歌翻译
盲目图像超分辨率(SR)的典型方法通过直接估算或学习潜在空间中的降解表示来处理未知的降解。这些方法的一个潜在局限性是,他们假设可以通过整合各种手工降解(例如,比科比克下采样)来模拟未知的降解,这不一定是正确的。现实世界中的降解可能超出了手工降解的模拟范围,这被称为新型降解。在这项工作中,我们建议学习一个潜在的降解空间,可以将其从手工制作的(基本)降解中推广到新的降解。然后将其在此潜在空间中获得的新型降解的表示形式被利用,以生成与新型降解一致的降级图像,以构成SR模型的配对训练数据。此外,我们执行各种推断,以使潜在表示空间中的降解后降解与先前的分布(例如高斯分布)相匹配。因此,我们能够采样更多的高质量表示以进行新的降级,以增加SR模型的训练数据。我们对合成数据集和现实数据集进行了广泛的实验,以验证我们在新型降解中盲目超分辨率的有效性和优势。
translated by 谷歌翻译
虽然基于微调对象检测的基于微调的方法已经取得了显着的进步,但尚未得到很好的解决的关键挑战是基本类别的潜在特定于类别的过度拟合,并且针对新颖的类别的样本特异性过度拟合。在这项工作中,我们设计了一个新颖的知识蒸馏框架,以指导对象探测器的学习,从而抑制基础类别的前训练阶段的过度拟合,并在小型课程上进行微调阶段。要具体而言,我们首先提出了一种新颖的位置感知的视觉袋模型,用于从有限尺寸的图像集中学习代表性的视觉袋(BOVW),该模型用于基于相似性来编码常规图像在学习的视觉单词和图像之间。然后,我们基于以下事实执行知识蒸馏,即图像应在两个不同的特征空间中具有一致的BOVW表示。为此,我们独立于对象检测的特征空间预先学习特征空间,并在此空间中使用BOVW编码图像。可以将图像的BOVW表示形式视为指导对象探测器的学习:对象检测器的提取特征对同一图像的提取特征有望通过蒸馏知识得出一致的BOVW表示。广泛的实验验证了我们方法的有效性,并证明了优于其他最先进方法的优势。
translated by 谷歌翻译
几次射击对象检测的大多数现有方法都遵循微调范式,该范式可能假设可以通过众多样本的基本类别学习并将其隐式转移到具有限量样本的新颖类中,从而将类别的概括性知识隐含地转移到有限的类别中。舞台培训策略。但是,这不一定是正确的,因为对象检测器几乎无法在没有明确的建模的情况下自动区分类别不合时宜的知识和特定于类的知识。在这项工作中,我们建议在基础和新颖类之间学习三种类型的类不足的共同点:与识别相关的语义共同点,与定位相关的语义共同点和分布共同点。我们基于内存库设计了一个统一的蒸馏框架,该框架能够共同有效地进行所有三种类型的共同点。广泛的实验表明,我们的方法可以很容易地集成到大多数现有的基于微调的方法中,并始终如一地通过大幅度提高性能。
translated by 谷歌翻译
虽然对图像背景恢复的研究从常规大小的降级图像恢复已经取得了显着的进步,但由于计算复杂性和记忆使用情况的爆炸式增长以及缺陷,恢复超高分辨率(例如4K)图像仍然是一项极具挑战性的任务。带注释的数据。在本文中,我们提出了一种用于超高分辨率图像恢复的新型模型,称为全局逐步生成网络(GLSGN),该模型采用涉及四个恢复途径的逐步恢复策略:三个局部途径和一条全球途径。本地途径着重于以局部但高分辨率的图像贴片的细粒度进行图像恢复,而全球途径则在缩放尺寸但完整的图像上执行图像恢复,以在全球视图中为本地途径提供线索包括语义和噪声模式。为了平滑这四个途径之间的相互协作,我们的GLSGN旨在确保在低级内容,感知注意力,恢复强度和高级语义方面的四个方面的跨道路一致性。作为这项工作的另一个主要贡献,我们还介绍了迄今为止的第一个超高分辨率数据集,以删除反射和降雨条纹,包括4,670个现实世界和合成图像。跨三个典型的图像背景修复任务进行的广泛实验,包括删除图像反射,删除图像雨条和图像去悬来表明我们的GLSGN始终优于最先进的方法。
translated by 谷歌翻译
我们利用离线增强学习(RL)模型在现实世界中有预算限制的情况下进行连续的目标促销。在我们的应用程序中,移动应用程序旨在通过向客户发送现金奖金并在每个时间段内控制此类现金奖金的成本来促进客户保留。为了实现多任务目标,我们提出了预算限制的加强学习,以进行顺序促销(BCRLSP)框架,以确定要发送给用户的现金奖金的价值。我们首先找出目标策略和相关的Q值,这些Q值是使用RL模型最大化用户保留率的。然后添加线性编程(LP)模型以满足促销成本的限制。我们通过最大化从RL模型中汲取的动作的Q值来解决LP问题。在部署期间,我们将离线RL模型与LP模型相结合,以在预算约束下生成强大的策略。使用在线和离线实验,我们通过证明BCRLSP达到的长期客户保留率和比各种基线更低的成本来证明我们方法的功效。利用近乎实时的成本控制方法,提出的框架可以轻松地使用嘈杂的行为政策和/或满足灵活的预算约束。
translated by 谷歌翻译
行人检测的典型方法侧重于在拥挤的行人之间进行处理,或处理各种行人的各种鳞片。用大量外观多样性检测不同的行人剪影,不同观点或不同的敷料等行人仍然是一个至关重要的挑战。除了大多数现有方法,我们建议使用与学习特征空间中不同外观之间的行人之间的语义距离的方式进行对比学习以引导特征学习,以引导对比学习以引导特征学习。外观多样性,而行人和背景之间的距离最大化。为了促进对比学习的效率和有效性,我们构建具有代表性行人外观的示例性词典作为先验知识,以构建有效的对比训练对并因此引导对比学习。此外,通过测量提议与示例性词典之间的语义距离,进一步利用构建的示例性词典以评估推理期间的行人提案的质量。对白天和夜间行人检测的广泛实验验证了该方法的有效性。
translated by 谷歌翻译
在本研究中,提出了一种新的,一般和巧妙的激活函数,被称为MDAC,以超越梯度消失和不可分化的存在的麻烦。 MDAC大致继承指数激活函数(如Tanh系列)的属性和分段线性激活函数(例如Relu系列)。具体地,在正区域中,自适应线性结构被设计为响应各种域分布。在负面地区,指数和线性度的组合被认为是征服梯度消失的障碍。此外,通过光滑的近似消除了不可分化的存在。实验表明,MDAC通过简单地改变激活功能,MDAC在六个域数据集中提高了六个域数据集的性能,这表明MDAC的有效性和高尚的革命性。 MDAC优于鲁棒性和泛化的其他普遍激活功能,并且可以在多个域中反映出色的激活性能。
translated by 谷歌翻译
Deep learning models can achieve high accuracy when trained on large amounts of labeled data. However, real-world scenarios often involve several challenges: Training data may become available in installments, may originate from multiple different domains, and may not contain labels for training. Certain settings, for instance medical applications, often involve further restrictions that prohibit retention of previously seen data due to privacy regulations. In this work, to address such challenges, we study unsupervised segmentation in continual learning scenarios that involve domain shift. To that end, we introduce GarDA (Generative Appearance Replay for continual Domain Adaptation), a generative-replay based approach that can adapt a segmentation model sequentially to new domains with unlabeled data. In contrast to single-step unsupervised domain adaptation (UDA), continual adaptation to a sequence of domains enables leveraging and consolidation of information from multiple domains. Unlike previous approaches in incremental UDA, our method does not require access to previously seen data, making it applicable in many practical scenarios. We evaluate GarDA on two datasets with different organs and modalities, where it substantially outperforms existing techniques.
translated by 谷歌翻译
The development of social media user stance detection and bot detection methods rely heavily on large-scale and high-quality benchmarks. However, in addition to low annotation quality, existing benchmarks generally have incomplete user relationships, suppressing graph-based account detection research. To address these issues, we propose a Multi-Relational Graph-Based Twitter Account Detection Benchmark (MGTAB), the first standardized graph-based benchmark for account detection. To our knowledge, MGTAB was built based on the largest original data in the field, with over 1.55 million users and 130 million tweets. MGTAB contains 10,199 expert-annotated users and 7 types of relationships, ensuring high-quality annotation and diversified relations. In MGTAB, we extracted the 20 user property features with the greatest information gain and user tweet features as the user features. In addition, we performed a thorough evaluation of MGTAB and other public datasets. Our experiments found that graph-based approaches are generally more effective than feature-based approaches and perform better when introducing multiple relations. By analyzing experiment results, we identify effective approaches for account detection and provide potential future research directions in this field. Our benchmark and standardized evaluation procedures are freely available at: https://github.com/GraphDetec/MGTAB.
translated by 谷歌翻译